2020 年一晃过去一半,转眼到了 8 月!我们想在「七月社区回顾」和大家更新一下刚刚过去的 7 月 Kylin 的开发进度和社区活动。Apache Kylin PMC 在 2020 年 7 月 3 日宣布了 Apache Kylin v3.1.0 的发布!在之后的几周,我们陆续收到了社区用户的使用反馈和咨询,其中部分是关于新特性的一些疑问,例如 Hive Global Dictionary,更多详情参考:此外也有一些 bug 被陆续发现,我们会在下一个小版本进行陆续修复。7 月的大部分时间中,Apache Kylin 开发小组进行了 Apache Kylin 4.0 的开发工作, 我们通过 JIRA 来追踪开发进度:https://issues.apache.org/jira/browse/KYLIN-4659大家或许已经了解到 Parquet Storage 的开发工作已经进行了一段时间,目前开发进度已经接近初步完成,Parquet Storage 计划于 Apache Kylin 4.0 发布,但目前仍有一些问题需要解决,开发工作仍然在 kylin-on-parquet-v2 分支上进行。
我们也在社区中收集了大家对 Apache Kylin 4.0 的意见并发起讨论组(欢迎大家继续在邮件组讨论~):https://lists.apache.org/thread.html/rfe09c3d2813ee2758e15ba70b168d334a8b680b4c066d7c2e9dbef63%40%3Cdev.kylin.apache.org%3E关于是否需要保持对 HBase 存储引擎的兼容,以及何时将代码向主分支迁移等问题,经过社区讨论,我们初步计划在 Apache Kylin 4.0 去除 HBase 存储引擎。
Parquet Storage 的开发工作已经基本完成,由于重写了 Kylin 核心的查询和构建引擎,有一些旧引擎特有的特性不再支持,如果留下这些"死掉的"代码,将非常不利于代码的可读性, 我们正在逐步清理中, 目前已经完成清理工作的第一阶段。3. 梳理新增配置项,测试 & 验证发生改变的文档新的存储引擎和查询引擎引入了很多新的参数,并且改变了需要原有功能的使用方式,这部分需要补充新的使用文档和技术文章,目前在进行中的文档梳理包括:在目前的开发分支上,有一些已有的功能需要分阶段开发来逐步支持,例如 JDBC 数据源/Cube Planner,我们也在持续梳理和制定开发计划。详情可参考以下链接:- https://cwiki.apache.org/confluence/display/KYLIN/Kylin+4.X+Feature+List
- https://cwiki.apache.org/confluence/display/KYLIN/FAQ+Kylin+4.X
由于目前 Parquet Storage 依赖一个 fork 版本的 Spark,通过用户反馈,我们了解到部分用户希望支持官方的 Spark 版本,以满足其可以持续升级 Spark 和自定义开发 Spark 的需求,这个目前在进行中。8 月,Apache Kylin 开发小组的工作将主要集中在 Parquet Storage 的文档更新和撰写,以及测试验证工作。另外,Apache Kylin v3.1.x 的 bugfix 版本计划于 9 月份发布。1. 718 Kylin Meetup 回顾
7 月 18 日,我们请到了 eBay 和爱奇艺的讲师在 Apache Kylin 直播间与大家分享了「Kylin on Kubernetes 在 eBay 的实践」和「Apache Kylin 在爱奇艺的实践」,感谢大家的热情参与和互动,两场演讲的回顾文章将于近期在公众号发出,敬请期待~另外,没能参加 Meetup 的小伙伴也可使用以下链接下载两场演讲的 PPT:https://kyligence.io/zh/event/apache-kylin-meetup2020-7-18/如果想要参与社区讨论或遇到疑问,请发送邮件至 Apache Kylin User 或 Developer 邮件列表:
user@kylin.apache.org
dev@kylin.apache.org
注意:该邮件列表需要订阅才能使用。如未订阅该邮件列表,请先发送邮件至 user-subscribe@kylin.apache.org 或 dev-subscribe@kylin.apache.org,并回复确认完成订阅。
*点击下方「阅读原文」了解更多关于 Apache Kylin 4.0 的开发进度~